美国当地时间9月30日，OpenAI正式发布其新一代视频生成模型Sora 2，该模型在画面、物理逻辑实现跨越式突破。与此同时，OpenAI在苹果应用商店App Store美国区上线了将Sora 2与社交功能集于一身的App——Sora。短短4天，该App登顶美

模型 openai 行业 transformer sora 2025-10-09 08:13  9

Hugging Face联合创始人兼首席科学官Thomas Wolf的最新表态，如同一盆凉水，浇醒了AI科学潜力论的热烈叙事。他在CNBC访谈中直言，现有的transformer-based模型，如OpenAI的ChatGPT系列，无法催生诺贝尔级别的科学发现

模型 科学 transformer wolf amodei 2025-10-05 07:46  8

2024年中国人工智能产业迎来爆发式增长，核心产业规模首次突破9000亿元大关，较上年实现24%的高速增幅，这一数据来自中国信息通信研究院在2025人工智能产业及赋能新型工业化大会上发布的权威测算。截至2025年9月，国内AI企业数量已突破5300家，在全球近

企业 文心 transformer 应用层 基础层 2025-10-05 05:44  9

在人工智能以前所未有的速度席卷全球之际，一个根本性的矛盾正日益凸显：科技巨头们正准备投入数万亿美元，加速一场基于我们尚不完全理解的技术的竞赛。当前的大型语言模型（LLM）如同一个深邃的“黑箱”，其内部运作逻辑的模糊性，已成为阻碍人工智能在医疗、金融等高风险领域

研究 人工智能 llm transformer 幼雏 2025-10-03 20:43  9

GPT（Generative Pre-trained Transformer）系列模型是基于Transformer 架构的生成式大语言模型，核心逻辑可拆解为 “预训练 - 微调” 两大阶段，通过 “理解语境 - 预测下一个词” 的方式实现自然语言生成，以下从技

模型 gpt transformer 向量 token 2025-09-30 15:21  7

咱可以把Transformer理解成一个聪明的信息处理系统。里面的注意力机制，干的是“侦察兵”的活儿。

transformer ffn transformer灵魂 2025-09-30 13:38  10

在数字人文与历史研究领域，浩如烟海的古籍文献是宝贵的文化遗产。然而，如何让计算机自动“读懂”这些布局复杂、版式多变的古籍，精确地识别出其中的标题、段落、注释、插图等元素，一直以来都是一个巨大的挑战。传统的深度学习方法(如 Faster R-CNN 、YOLO

论文 transformer 双流 古籍 giou 2025-09-27 20:11  9

大家可能已经习惯了把长文档丢给Kimi分析总结，或者是打开豆包，让它搜索想了解的知识，又或者让ChatGPT用不同文风写文章。许多人暗暗惊叹过：为什么这玩意儿如此智能？

模型 transformer rnn bert chatgp 2025-09-26 15:18  8

本文总结了大模型领域常用的近100个名词解释，并按照模型架构与基础概念，训练方法与技术，模型优化与压缩，推理与应用，计算与性能优化，数据与标签，模型评估与调试，特征与数据处理，伦理与公平性、其他的分类进行了整理，以下供参考：

模型 学习 收藏 transformer 宝典 2025-09-25 22:51  8

2017 年，Google 一篇论文提出的Transformer 架构，彻底改变了人工智能的发展轨迹。它摒弃了传统模型处理序列数据的局限，凭借独特的 “注意力机制”，成为 ChatGPT、BERT 等主流大模型的核心骨架，撑起了当代 AI 的技术基石。

模型 transformer 架 transformer架构 2025-09-26 04:10  9

这种焦虑我太懂了——某个加班的深夜，盯着满屏的参数量、注意力机制，我咬着咖啡决定必须搞清这波技术浪潮的本质。于是熬出这篇硬核解析：

模型 gpt transformer 解码器 机器翻译 2025-09-26 04:08  11

掩码注意力（Causal Attention）是生成式模型的核心技术，它传统自注意力机制有根本的不同，掩码注意力限制模型只能关注当前位置之前的tokens，确保了自回归生成的因果性。

transformer 掩码 掩码注意力 pytorch完整 2025-09-25 19:52  18

医疗保健的核心使命在于通过解析个体健康轨迹的过去与现在，精准预测未来风险并实施干预。人工智能技术的崛起为这一使命提供了新的解决方案，尤其在从海量健康数据中挖掘疾病进展规律方面展现出巨大潜力。然而，传统 AI 模型往往受限于单病种预测框架，难以应对人类疾病的复杂

模型 范式 预测 transformer 医疗健康 2025-09-25 14:28  8

注意力机制听起来很玄乎，但我们可以把它看作一个软k-NN算法。查询向量问："谁跟我最像？"，softmax投票，相似的邻居们返回一个加权平均值。这就是注意力头的另外一种解释： 一个可微分的软k-NN：计算相似度 → softmax转换为权重 → 对邻居值求加权

视角 算法 transformer 掩码 axis 2025-09-24 20:22  15

2016-2017 版视频和讲义，几乎成了无数 CVer 的启蒙教材。如今 8 年过去，这门传奇课程终于迎来了 2025 春季全新版本，再次由李飞飞教授领衔，助教团队联合主讲！

斯坦福 transformer 计算机视觉 模 cs231n 2025-09-24 16:38  13

Transformer 架构最早由 Google 研究团队在 2017 年提出，其核心思想是利用自注意力机制来捕捉序列中元素之间的关系，从而避免了传统循环神经网络（RNN）难以处理长序列依赖的问题。

架构 transformer 人 transformer架构 2025-09-24 10:50  8

自动驾驶车辆要在复杂多变的道路环境中安全行驶，不仅需要“看见”前方的车辆、行人和路面标志，还需要“读懂”交通标识上的文字提示、施工告示牌和乘客的语言指令。之前和大家讨论过VLA（相关阅读：自动驾驶中常提的VLA是个啥？），了解到视觉-语言-动作模型，但在很多场

模态 transformer vla 自然语言 vlm 2025-09-24 04:46  9

官方报告说，在处理一个400万Token的超长文本任务时，瞬悉的生成速度比基于Transformer架构的模型快了将近100倍！这是我们国家在AI模型研究领域首次提出大规模类脑线性基础模型架构。

科学家 英伟达 人脑 transformer snn 2025-09-23 00:15  11

这项由独立研究者Rishiraj Acharya完成的创新研究发表于2025年8月的arXiv预印本平台（论文编号：arXiv:2509.00605v1），有兴趣深入了解的读者可以通过该编号在arXiv网站上访问完整论文。这位研究者独自开发了一种全新的人工智能

算法 transformer mamba gam achar 2025-09-23 15:36  8

过去几年，大模型几乎都依赖 Transformer，它支撑了 GPT、Claude、Gemini 等一众前沿模型的进步，但也一直被诟病：一旦文本变长，计算量和内存消耗就会成倍膨胀，百万级 token 几乎不可承受。与此同时，大模型训练几乎完全依赖 NVIDIA

模型 英伟达 transformer gpu 中科院 2025-09-23 14:55  12